QASP: Query-Adaptive Robust Vector Search Policy
QASP:查询自适应鲁棒向量搜索策略
🧭 查询自适应向量搜索策略 ★ 深度解读
Amazon
通过学习预测每个查询的召回进度曲线,以极低推理开销实现查询自适应搜索,显著降低方差与数据访问。
📌 工作参考价值(4 点)
- 用回归预测召回曲线替代直接预测探测数:训练一个轻量模型预测任意探测数下的累积召回,再通过阈值得到探测数,可获得更丰富的监督信号(每查询L个标签),且支持跨召回目标泛化。在生产环境中,可以作为推荐系统向量召回(如 Faiss IVF)的查询自适应模块。
- 归一化、尺度不变特征设计:特征如相对距离(tanh(d(q,μ_l)/d(q,μ_1)-1))、基于质心的局部固有维度、累积簇大小比例等,将查询难度与索引特性编码为统一形式,可直接迁移到其他向量搜索设置。
- 反应式校准机制不必重新推理:利用预测的逐簇增量召回率,在搜索时用 EWMA 监控实际发现率,若连续低于预测则提早终止,高于则延长搜索,作为安全网,不需额外模型调用,实现起来轻量高效。
- 极轻量模型便于大规模部署:QASP-DL 仅 1.5K 参数,内存 6-7 KB,吞吐 124K qps,可在 CPU 上批量推理,对搜索延迟影响极小。该模式适合在现有向量检索引擎中作为预处理步骤集成。